Komputasi berkinerja tinggi modern menghadapi sebuah "Dinding Memori": pertumbuhan eksplisit dalam throughput komputasi (FLOPS) telah jauh melampaui peningkatan yang kecil pada bandwidth memori global bandwidth. Ketidaksesuaian ini membuat array multikores besar menjadi prosesor "kelaparan" yang menunggu data.
1. Kesenjangan Bandwidth
Meskipun GPU dapat melakukan triliunan operasi per detik, jalur fisik ke DRAM dibatasi oleh kepadatan pin dan persyaratan daya. Memori sebagai Faktor Pembatas Paralelisme berarti bahwa saat Anda meningkatkan jumlah thread, bandwidth per thread menurun, menyebabkan siklus henti di mana perangkat keras tidak digunakan.
2. Analogi Dapur
Bayangkan dapur canggih (inti GPU) yang mampu memasak 1.000 hidangan per jam. Namun, bahan-bahannya berada di gudang (memori global) lima mil jauhnya, dan hanya ada satu sepeda pengantar (bus memori). Tidak peduli berapa banyak koki yang Anda rekrut, hasil produksi Anda terbatas oleh kecepatan sepeda tersebut.
3. Perbandingan Arsitektur
Sistem CPU multikores standar menggunakan cache besar untuk menyembunyikan latensi bagi beberapa thread berat. Arsitektur paralel besar, bagaimanapun, menghadapi kemacetan konstan dari permintaan bersamaan. menggunakan cache besar untuk menyembunyikan latensi bagi beberapa thread berat. Arsitektur paralel besar, bagaimanapun, menghadapi kemacetan konstan dari permintaan bersamaan. Keterbatasan sumber daya pada tingkat register dan memori bersama menentukan tingkat maksimum paralelisme (occupancy) yang dapat dicapai sebelum perangkat keras kelebihan beban.